#kv cache

1个月前

说一个在前司的观察：搞应用的，天天手动拼 prompt、管理上下文，去提高prompt cache 命中率，都快卷的没招了，实际就是在模拟“状态”。这全赖底层的推理 API 还是最原始的 stateless 形态。所以我有一个强烈的预感：下个能掀起波澜的 AI 产品，会是一个深度结合推理和应用层的怪物，把状态管理、KV Cache 复用做到极致，当别人还在为优化 10% 的 prompt 成本而沾沾自喜时，它在推理层通过“降维打击”的方式，用更少的成本获得了 10 倍的性能。从此之后再也不会有人认为 AI 应用是简单的套壳了

#AI产品 #推理API #状态管理 #kv cache #降维打击

1个月前

提到KV Cache, 我以前只能想到Redis. 🫠今天终于认真了解了KV Cache, 明白了为什么KV Cache是现在LLM推理性能的最关键的bottleneck。以下是我的take away～🤓

#kv cache #LLM推理 #性能瓶颈 #Redis #技术学习

2个月前

#学以致用我打算今天把Manus分享的KV Cache技巧用起来。目前数据如下：

AI编程工具激战：Claude Code、Gemini Cli崛起· 899 条信息

#kv cache #Manus #技巧 #学以致用 #数据

2个月前

全文在公众号，文末有一段关于 kv cache 原理的科普强烈推荐读一读，对理解 llm 推理有帮助

#kv cache #LLM #推理 #原理科普